Venne fatto costruire nel 1309 dal nobile milanese Pagano della Torre vescovo di Padova e Patriarca di Aquileia. Nel 1323 subì gravi danni causa un incendio, e rimase in così cattive condizioni per più di un secolo, finchè nel 1447 venne restaurato dal Vescovo Pietro Donato e nel 1462 ingrandito ed abbellito da Mons. Jacopo Zeno. Però non riuscì di quella grandiosità adatta all'alto prelato che doveva abitarlo, e nel 1485 il Vescovo Pietro Barozzi bellunese lo fece rifabbricare in gran parte sotto la direzione di un ingegnere del quale non rimase altra memoria se non che chiamavasi Lorenzo.

Pochi anni fa nel 1905 venne ripristinato come vedesi attualmente dall'ingegnere A. Brillo per incarico del Cardinale Vescovo Giuseppe Callegari. In questo palazzo tra tante sue ricchezze artistiche, e assai notevole la grande sala quadrata che misura oltre 20 metri per lato, e sulle cui pareti vi sono i ritratti di centottanta vescovi di Padova da S. Prosdocimo che fu il primo nell'anno 48 dopo Cristo, fino ad Alvise Cornaro che governo la nostra diocesi nel 1590. Nella detta sala trovasi pure il ritratto di Francesco Petrarca eseguito dopo il 1300 essendo ancor vivo il poeta, ritratto che trovavasi nella sua abitazione in città presso il Duomo, demolita nel 1632.